Trong tiểu thuyết nổi tiếng Tam quốc diễn nghĩa của La Quán Trung, Đào Khiêm xuất hiện từ hồi 4 đến hồi 12, trong giai đoạn cuộc chiến quần hùng ở trung nguyên bắt đầu. Khi Tào Tháo hiệu triệu chư hầu đánh Đổng Trác[8], Đào Khiêm đã đến dự cùng 16 chư hầu khác; trên thực tế Đào Khiêm không đến hội quân với chư hầu dưới cờ Viên Thiệu[9].

Tam Quốc diễn nghĩa mô tả ông là người nhân từ, đức độ; khi Tào Tháo tàn sát dân Từ châu, ông từng có ý định đến nộp mạng để cứu dân.